Sau khi rời ngôi, Takakura lên làm Thượng hoàng. Ông sống cùng với cha (Go-Shirakawa) tại Fukuhara-kyō, đại bản doanh của họ Taira (Tây nam Nhật Bản). Đến tháng 12/1180, hai cha con lại được trở về thủ đô Heian nhưng ít lâu sau, kinh đô bị một cơn lốc tàn phá.

Tháng 1/1181, Thượng hoàng Takakura tạ thế, hưởng dương 19 tuổi[7]

Kugyō

• Nhiếp chính: Matsu Motofusa, 1144-1230.
• Quan bạch: Konoe Motomichi, 1160-1233.
• Thái Chính đại thần: Fujiwara Tadamasa.
• Thái Chính đại thần: Fujiwara Moronaga, 1137-1192.
• Tả đại thần: Ōimikado Tsunemune, 1119-1189.
• Hữu đại thần: Kujo Kanezane, 1149-1207.
• Nội đại thần, Konoe Motomichi.
• Nội đại thần, Minamoto Masamichi, chết 1175.
• Nội đại thần, Taira Shigemori, 1138-1179.
• Đại nạp ngôn:

Niên hiệu

• Nin'an (1166-1169)
• Kao (1169-1171)
• Joan (1171-1175)
• Angen (1175-1177)
• Jisho (1177-1181)